Dương Quảng lên ngôi, tức là Tùy Dượng đế, Tài được chuyển làm Tả bị thân phiếu kỵ, sau đó được thăng làm Hữu kiêu vệ tướng quân. Dượng đế cho rằng Tài là bề tôi cũ ở phiên để [2], dần đãi ngộ thân thiết. Tài cũng siêng năng không dám trễ nhác, tại nhiệm sở trở nên nổi tiếng. Hơn năm sau, Tài được chuyển làm Hữu hậu vệ tướng quân.

Tài tham gia trấn áp tộc Thổ Dục Hồn, được làm Hành quân tổng quản, soái bọn Vệ úy khanh Lưu Quyền, Binh bộ thị lang Minh Nhã ra Hợp Hà đạo, cùng địch đối trận, đánh phá được, nhờ công được tiến vị làm Kim tử quang lộc đại phu. Sau đó Tài tham gia tiến đánh Cao Câu Ly, ra Kiệt Thạch đạo, trở về được thụ chức Tả hậu vệ tướng quân; ít lâu sau được thăng làm Hữu hậu vệ đại tướng quân. Bấy giờ mỗi khi Dượng đế ra ngoài, Tài luôn làm việc mở đường, cấm đoán kẻ nào cản trở, không kiêng dè ai. Trên đường Tài gặp vợ con của công khanh phạm cấm, liền lớn tiếng mắng nhiếc, khiến mọi người kéo nhau bỏ đi. Người đương thời tuy đối với Tài bất mãn, nhưng ông giữ lẽ phải, chẳng hề ngại gì.

Năm Đại Nghiệp thứ 10 (614), Dượng đế đi cung Phần Dương, lấy Tài lưu thủ Lạc Dương. Năm thứ 12 (616), Dượng đế ở Lạc Dương, sắp đi Giang Đô. Tài thấy khắp nơi nổi dậy, sợ là xã tắc lâm nguy, tự nghĩ mình chịu ơn sâu dày, không thể ngồi nhìn diệt vong, vì thế vào can rằng: "Nay trăm họ mệt mỏi, kho lẫm trống rỗng, giặc cướp như ong, pháp luật không còn. Mong bệ hạ về kinh sư, an triệu dân. Thần dẫu ngu dốt, dám liều chết mà xin." Dượng đế cả giận, đem Tài giam lại; qua chừng 1 tuần, đế nguôi ngoai, bèn cho thả ông ra.

Dượng đế đi Giang Đô, đãi ngộ Tài càng thêm thân mật. Bấy giờ Giang Đô hết lương, tướng sĩ nản lòng; bọn Nội sử thị lang Ngu Thế Cơ, Bí thư giam Viên Sung nhiều lần khuyên Dượng đế đi Đan Dương. Dượng đế tổ chức bàn bạc việc này, Tài ra sức trình bày kế hoạch quay về kinh sư, Thế Cơ hăng hái nói rằng vượt Trường Giang là tiện. Dượng đế im lặng không đáp, Tài và Thế Cơ đều phẫn uất trở ra.